Một số tướng cũ của Dương Đình Nghệ mà tiêu biểu là Ngô Quyền - con rể Dương Đình Nghệ - quyết tâm tiêu diệt Kiều Công Tiễn. Ngô Quyền đang trấn thủ Ái châu, tập hợp lực lượng ở đó và phát lời kêu gọi mọi người chống Công Tiễn. Các hào trưởng, hào kiệt nhiều nơi như Dương Tam Kha, Đinh Công Trứ, Kiều Công Hãn, Đỗ Cảnh Thạc... về theo. Công Tiễn bị cô lập, sợ hãi cầu cứu vua Nam Hán.

Tháng 4 năm 938, Ngô Quyền mang quân ra Bắc. Theo thần phả thì đạo quân tiên phong do Dương Tam Kha và con trưởng Ngô Quyền là Ngô Xương Ngập chỉ huy. Đạo quân này nhanh chóng hạ thành Đại La, giết chết Kiều Công Tiễn. Khi đó quân Hán chưa kịp đến cứu giúp Tiễn. Công Tiễn xưng Tiết độ sứ chưa đầy 1 năm.

Theo thần phả, người cháu nội duy nhất ủng hộ ông là Kiều Thuận thoát chết khi thành Đại La bị hạ, bỏ trốn về ẩn náu ở Hồi Hồ (Phú Thọ). Ngô Quyền nể tình anh Kiều Thuận là Kiều Công Hãn có công theo giúp nên không hỏi tới. Sau này khi nhà Ngô suy yếu, Kiều Thuận lại nổi dậy trở thành một sứ quân trong loạn 12 sứ quân và bị Đinh Bộ Lĩnh dẹp tan.